Advancing Relevance Measurement with Vision-Language Models for Web-Scale Search
利用视觉语言模型提升网络搜索相关性评估的工业实践
🧭 视觉语言模型 · 搜索相关性自动评估 ★ 深度解读
用微调VLM替代人工标注，结合分层采样，将搜索A/B实验的MDE降低6倍且成本降至近零
📌 工作参考价值（4 点）
- 用开源VLM（Qwen3-VL-4B）微调替代人工相关性标注，达到94.2%±1级一致性，可将标注成本降低超99%、周期从2天缩至2小时，适合电商/广告搜索中快速评估排序实验。
- 分层采样设计（按查询兴趣类别×流行度分层）能大幅缩减相关性指标的方差，使MDE降低6倍（从~1.4%到≤0.25%），对检测微小却重要的排序变化极有价值。
- 保留配对的实验组查询，用配对差异消除个体偏差，使得VLM标签的系统性误差在差值中被抵消，可作为Agent评估或多模态搜索中LLM裁判的校准手段。
- 多语言微调通过单一多语言VLM支持非英语市场，虽相关性略降但配对差异仍稳健，可复用到跨境电商搜索的自动化评估。